台湾专利TW201319723A 影像處理裝置、影像處理方法、及記錄媒體

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
取得部52依序取得連續拍攝的影像。推測部53推測在依序所取得的個別影像之應在鄰接的影像彼此之既定區域內合成的位置。算出部54係以所推測之應合成的位置作為基準，使前述應合成之位置朝既定方向於前述既定區域內的既定像素數量之範圍中挪移，同時個別算出於該既定區域內的前述影像彼此的像素值之差。調整部57係基於個別所算出的像素值之差，調整前述影像彼此之應合成的位置。生成部58係基於經調整之應合成的位置，將前述鄰接的影像之彼此合成，生成廣範圍的影像。
公开号:TW201319723A
申请号:TW101135028
申请日:2012-09-25
公开日:2013-05-16
发明作者:Naotomo Miyamoto；Kosuke Matsumoto
申请人:Casio Computer Co Ltd；
IPC主号:H04N5-00

专利说明:
影像處理裝置、影像處理方法、及記錄媒體
本發明係關於一種可生成廣範圍的影像之影像處理裝置、影像處理方法及記錄媒體。
在數位相機或具有拍攝功能的行動電話等，拍攝視角的界限取決於透鏡的焦點距離及拍攝元件的尺寸等裝置本體具備的硬體規格。
因此，取得全景拍攝等超越硬體規格的廣角影像之情況下，具有一技術，其係藉由使拍攝裝置朝一定方向移動，同時連續拍攝，並合成得到的複數個影像而生成廣角影像。
為了實現上述全景拍攝，舉例而言，使用者將快門開關維持在按下操作的狀態，同時以自身的身體為軸，將數位相機於垂直方向上保持約略固定下，使其以朝水平方向旋轉的方式移動。
於是，數位相機在該期間執行複數次拍攝處理，且藉由朝橫方向(水平方向)合成該複數次拍攝處理之個別結果所得到之複數個影像(以下稱「拍攝影像」)的影像資料，而生成全景影像的影像資料。
日本專利文獻(特開平11-282100號公報)中揭露一手法，其藉由在複數次拍攝處理之每一次處理中檢測拍攝影像的特徵點，並以鄰接的兩張拍攝影像之特徵點彼此一致的方式朝橫方向合成複數個拍攝影像的影像資料，而生成全景影像的影像資料。
然而，採用上述專利文獻的手法時，因為僅利用特徵點的定位合成鄰接的兩張拍攝影像之影像資料，所以有時候無法充分得到該合成位置的精確度。
本發明係鑑於此種狀況而創作者，目的為提升在生成廣範圍的影像時之影像彼此的定位精確度。
為了達成上述目的，本發明之一態樣的影像處理裝置之特徵為具備：取得手段，取得複數個影像；推測手段，在由前述取得手段所取得之影像彼此的共通區域內，推測特定位置；第一算出手段，使由前述推測手段所推測之特定位置朝前述共通區域內的既定方向於既定範圍內挪移，同時個別算出該共通區域內的前述影像彼此之差分值；調整手段，基於由前述第一算出手段所個別算出之差分值，調整前述特定位置；及合成手段，基於由前述調整手段所調整之特定位置，將前述影像之彼此合成。
另外，本發明之一態樣的影像處理方法之特徵為包含：取得步驟，取得複數個影像；推測步驟，在由前述取得步驟所取得之影像彼此的共通區域內推測特定位置；算出步驟，使由前述推測步驟所推測之特定位置朝既定方向在前述共通區域內的既定範圍內挪移，同時算出該共通區域內的前述影像彼此之差分值；調整步驟，基於由前述算出步驟所個別算出之差分值，調整前述特定位置；及合成步驟，基於由前述調整步驟所調整之應合成的位置，將前述影像之彼此合成。
另外，本發明之一態樣的記錄媒體係記錄電腦可讀取之程式的記錄媒體，其記錄使作為以下手段的功能於前述電腦中實現之程式：取得手段，取得複數個影像；推測手段，在由前述取得手段所取得之影像彼此的共通區域內，推測特定位置；算出手段，使由前述推測手段所推測之特定位置朝既定方向於前述共通區域內的既定範圍內挪移，同時算出前述共通區域內的前述影像彼此之差分值；調整手段，基於由前述算出手段所個別算出之差分值，調整前述特定位置；及合成手段，基於由前述調整手段所調整之特定位置，將前述鄰接的影像之彼此合成。
以下參照圖式說明根據本發明之實施形態。
第1圖為圖示作為根據本發明之影像處理裝置的一實施形態之數位相機1的硬體構造之方塊圖。
數位相機1係具備：CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、匯流排14、光學系統15、拍攝部16、影像處理部17、記憶部18、顯示部19、操作部20、通信部21、角速度感測器22及驅動裝置23。
CPU 11係依照記憶於ROM 12的程式或由記憶部18載入到RAM 13的程式，執行各種處理。
ROM 12另外適當地記憶CPU 11執行各種處理上所需的資料等。
例如，本實施形態中，實現後述第2圖的拍攝控制部51至生成部58之各功能的程式係記憶於ROM 12或記憶部18。因此，CPU 11執行依照此等程式的處理，而可實現後述第2圖的拍攝控制部51至生成部58的各功能。
此外，亦可將後述第2圖的拍攝控制部51至生成部58的各功能中之至少一部分轉移到影像處理部17。
CPU 11、ROM 12及RAM 13係經由匯流排14而互相連接。在此匯流排14另連接有光學系統15、拍攝部16、影像處理部17、記憶部18、顯示部19、操作部20、通信部21、角速度感測器22及驅動裝置23。
光學系統15係為了拍攝被攝體，由聚光的透鏡，例如聚焦透鏡或變焦透鏡等構成。聚焦透鏡係使被攝體像成像於拍攝部16的拍攝元件之受光面的透鏡。變焦透鏡係使焦點距離在一定範圍內變化自如的透鏡。在光學系統15中，依所需另設有調整焦點或曝光等的周邊裝置。
拍攝部16係由光電變換元件或AFE(Analog Front End)等所構成。光電變換元件係例如由CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)型的光電變換元件所構成。光電變換元件每隔一定時間將該期間所入射且蓄積之被攝體像的光訊號進行光電變換(拍攝)，並將該結果所得到之類比電訊號依序供給至AFE。
AFE對該類比電訊號實施A/D(Analog/Digital)變換處理等各種訊號處理，並輸出該結果所得到之數位訊號作為拍攝部16的輸出訊號。
此外，以下將拍攝部16的輸出訊號稱為「拍攝影像的影像資料」。因此，拍攝影像的影像資料從拍攝部16輸出，並適當地供給至影像處理部17等。
影像處理部17係由DSP(Digital Signal Processor)或VRAM(Video Random Access Memory)等所構成。
影像處理部17與CPU 11協同動作，對從拍攝部16所輸入的拍攝影像之影像資料，施行雜訊降低、白平衡、手震校正等影像處理。
在此，以下只要未事先說明，「影像資料」即指每隔一定時間從拍攝部16輸入的拍攝影像之影像資料，或該影像資料經加工等者。
即，本實施形態中，採用該影像資料作為處理單位。
記憶部18係由DRAM(Dynamic Random Access Memory)等所構成，並暫時記憶從影像處理部17所輸出的影像資料或後述全景中間影像之影像資料等。另外，記憶部18亦記憶各種影像處理中所需的各種資料等。
顯示部19係例如以由LCD(Liquid Crystal Display：液晶顯示裝置)或由LCD驅動部所構成之平面顯示面板而構成。顯示部19係將根據由記憶部18等所供給之影像資料而顯示的影像如後述的即時預覽影像依影像資料單位而顯示。
操作部20係除了快門開關41，還具有未圖示的電源開關、拍攝模式開關、播放開關等之複數個開關。操作部20在此等複數個開關中的既定開關被按下操作時，將對該既定開關所指定的指令供給至CPU 11。
通信部21係控制經由包含網際網路的網路之與未圖示的其他裝置之間的通信。
角速度感測器22由陀螺儀等所構成，檢測數位相機1的角度位移量，並將表示檢測結果的數位訊號(以下僅稱為「角度位移量」)供給至CPU 11。此外，角速度感測器22亦需要發揮方位感測器的功能。
在驅動裝置23，適當地安裝有磁碟機、光碟機、磁光碟機或由半導體記憶體等所構成之可移除式媒體31。而且，可依需要將從移除式媒體31所讀出的程式安裝到記憶部18。另外，可移除式媒體31如同記憶部18，亦可記憶被記憶在記憶部18的影像資料等各種資料。
第2圖為一功能方塊圖，其圖示第1圖的數位相機1所執行的處理之中之為了執行從拍攝被攝體到將該結果所得到之拍攝影像的影像資料記錄於可移除式媒體31為止的一連串處理(以下稱「拍攝處理」)所使用之功能性構造。
如第2圖所示，CPU 11具備拍攝控制部51、取得部52、推測部53、算出部54、判定部55、加權部56、調整部57及生成部58。
此外，如上述，拍攝控制部51至生成部58的各功能不必特別如本實施形態般搭載於CPU 11，亦可使此等功能中至少一部分轉移到影像處理部17。
拍攝控制部51控制整個拍攝處理的執行。例如，作為數位相機1之動作模式，拍攝控制部51可選擇性切換一般拍攝模式及全景拍攝模式，並執行依照切換後的動作模式之處理。
若是全景拍攝模式，取得部52至生成部58在拍攝控制部51的控制下動作。
在此，為了易於理解拍攝控制部51至生成部58，在說明此等功能性構造之前，適當地參照第3圖及第4圖而詳細說明全景影像模式。
第3A圖和第3B圖為說明作為第1圖的數位相機1之動作模式而分別選擇一般拍攝模式及全景拍攝模式時的拍攝操作之圖。
詳細而言，第3A圖為說明一般拍攝模式中的拍攝操作之圖。第3B圖為說明全景拍攝模式中的拍攝操作之圖。
第3A圖及第3B圖兩圖中，在數位相機1深處的圖像表示包含數位相機1之被攝體的實際景象之情況。另外，第3B圖所示的縱向虛線係表示數位相機1的移動方向之各位置a、b、c。數位相機1的移動方向係指使用者以自身的身體為軸使數位相機1的拍攝方向(角度)變化時之數位相機1的光軸所移動的方向。
一般拍攝模式係指拍攝與數位相機1的視角對應之尺寸(解析度)的影像時之動作模式。
一般拍攝模式係如第3A圖所示，使用者在使數位相機1固定的狀態下，將操作部20的快門開關41按下到下限。此外，以下將如此按下快門開關41至下限的操作稱為「全按操作」或僅稱為「全按」。
拍攝控制部51控制將在緊接著全按操作之後從影像處理部17所輸出的影像資料作為記錄對象而記錄到可移除式媒體31為止的一連串處理之執行。
以下將如此在一般拍攝模式藉由拍攝控制部51的控制而執行的一連串處理稱為「一般拍攝處理」。
另一方面，全景拍攝模式係指拍攝全景影像時的動作模式。
全景影像模式係如第3B圖所示，使用者在維持快門開關41的全按操作之狀態下，使數位相機1朝同圖中黑色箭頭的方向移動。
拍攝控制部51在維持全按操作期間，控制取得部52至生成部58，重複每當來自角速度成測器22的角度位移量達到一定值，即將從影像處理部17輸出的影像資料而暫時記憶到記憶部18。
然後，使用者藉由進行解除全按操作的操作，亦即令手指等離開快門開關41的操作(以下將此種操作稱為「解除操作」)，指示全景拍攝的結束。
拍攝控制部51控制取得部52至生成部58，當指示全景拍攝的結束時，藉由將目前為止記憶於記憶部18的複數個影像資料依照記憶的順序朝水平方向合成，而生成全景影像的影像資料。
然後，拍攝控制部51控制生成部58等而將全景影像的影像資料作為記錄對象予以記錄到可移除式媒體31。
據此，拍攝控制部51在全景拍攝模式中控制取得部52至生成部58，並控制至生成全景影像的影像資料且將其作為記錄對象記錄到可移除式媒體31為止的一連串處理。
以下將如此在全景拍攝模式藉由拍攝控制部51的控制而執行的一連串處理稱為「全景拍攝處理」。
第4圖係圖示在第3圖所示之全景影像模式中藉由取得部52至生成部58而生成之全景影像的影像資料。
即，在全景拍攝模式中，進行如第3B圖所示的拍攝操作時，在拍攝控制部51的控制下，由取得部52至生成部58生成第4圖所示的全景影像P3的影像資料，並記錄到可移除式媒體31。
取得部52至生成部58在拍攝控制部51的控制下執行如下處理。
取得部52在每當數位相機1僅移動既定量時(每當角度位移量成為一定值時)，接受從拍攝控制部51發出的取得指令，從影像處理部17依序取得連續拍攝的影像之影像資料。
推測部53在將由取得部52依序取得的個別影像資料中之在空間方向鄰接的影像資料之彼此合成時，推測應在與鄰接的影像資料接觸或重疊的個別區域(以下稱為「合成部分」)內合成的合成位置。在此，鄰接的影像資料係指全景拍攝中由第K次(K為1以上的整數值)拍攝而得到之拍攝影像的影像資料，以及在同全景拍攝中，由第K+1次的拍攝而得到之拍攝影像的影像資料。
第5圖係說明推測部53推測合成位置的手法之圖。
在第5圖中，影像資料Fa表示上述第K次之影像資料。影像資料Fb表示上述第K+1次之影像資料。即，在得到影像資料Fa的下一次，會得到影像資料Fb。
在第5圖中，填滿斜線的部分表示亮度值低於其他部分的情況。
如第5圖所示，推測部53檢測影像資料Fa及影像資料Fb重疊之個別合成部分Fam、Fbm，在該合成部分Fam、Fbm的重複區域內推測合成位置。
在此，合成部分係構成影像資料的各像素中，構成線或長方形的像素集合體。在此，將合成部分的長度方向稱為「長方向」，將與長方向垂直交叉的方向稱為「寬方向」。本實施形態中，因為複數個影像資料係朝水平方向(第5圖中X座標方向)合成，所以合成部分的長方向為垂直方向(第5圖中Y座標方向)，合成部分的寬方向為水平方向(第5圖中X座標方向)。另外，本實施形態中，雖然合成部分Fam、Fbm的寬方向之長度為3點，但未特別限定，亦可為任意長度。
在此，合成部分Fam、Fbm的檢測手法未特別限定，可採用藉由影像處理比較影像資料Fa及影像資料Fb的手法等任意手法。
然而，本實施形態係如上述，每當數位相機1僅移動既定量(每當角度位移量達到一定值)時，進行一次影像資料之取得。因此，可基於該既定量(角度位移量的一定值)推測合成部分Fam、Fbm。因此，本實施形態係採用將基於該既定量(角度位移量的一定值)推測的部分作為合成部分Fam、Fbm之手法。
而且，推測部53在本實施形態中藉由利用Harris的角落檢測法等算出在合成部分Fam、Fbm兩者的特徵點(像素)之移動向量，而推測重複區域內的合成位置。
第6A圖至第6D圖為說明推測部53推測合成位置的手法之圖。
算出部54朝屬於作為既定區域之合成部分Fam、Fbm內的既定方向之垂直方向，使經推測的合成位置挪移，同時算出重複區域內的影像資料彼此之像素的亮度值之差。
第6A圖係圖示第5圖中之影像資料Fa內的合成部分Fam中之寬為一點的部分之亮度值。
第6B圖係圖示第5圖中影像資料Fb內的合成部分Fbm中，寬為一點的部分之亮度值。
在第6A及6B圖中，Y座標係與第5圖的相同，且表示影像資料的垂直方向。
從第6A及6B圖得知第5圖中以虛線包圍的部分L之亮度值比第5圖中的其他部分低。
第6C圖係圖示由算出部54算出之第5圖的合成部分Fam中之寬為一點的行之亮度值與對應合成部分Fam中寬為一點的位置之第5B圖的合成部分Fbm之寬為一點的行之亮度值之間的差分絕對值(以下亦稱「像素值之差」)。
判定部55判定由算出部54算出的像素值之差是否為閾值(第6C圖及第6D圖中的虛線)以上，並擷取像素值之差為閾值以上的部分P。
第6D圖係圖示對第5圖中的部分P加權後的像素值之差。
加權部56對由判定部55判定像素值之差為閾值以上的部分P進行加權。具體而言，加權部56以部分P的像素值之差d成為兩倍之方式進行加權。加權部56在算出重複區域中的像素值之差的總和(Sum of Absolute Difference，以下亦稱「SAD」)時，算出加權構成該SAD值的像素值之差的SAD(以下亦稱「加權SAD」)。
此外，本實施形態中，雖然採用SAD作為算出合成部分中兩個影像資料的類似程度之手法，但並未限定於此，舉例而言，亦可採用差分平方和等。
另外，本實施形態中，雖然採用亮度值作為用於算出合成部分中兩個影像資料的類似程度之像素值，但並未限定於此，亦可採用色差或色相。
藉由以上手法，算出部54以由推測部53推測之合成位置作為基準，使合成部分Fam、Fbm朝上下方向(第5圖及第6圖中的Y座標方向)隔著既定點數(例如，一點)的間隔各挪移一點，同時算出16種(上下合計32種)重複區域中的像素值之差。
加權部56基於判定部55的判定結果，在加權像素值之差為閾值以上的部分P後，算出32種加權SAD。
如此，藉由隔著既定點數間隔針對重複區域分別算出像素值之差，而可朝合成部分的上下方向在更廣的範圍算出加權SAD。
調整部57以將由加權部56算出之32種加權SAD之值中，加權SAD值為最小的影像資料彼此之位置作為合成位置候選者的方式進行調整。
而且，算出部54利用上述方法，將由調整部57調整之合成位置候選者作為基準，使合成部分Fam、Fbm朝上下方向(第5圖及第6圖中的Y座標方向)各挪移一點，同時進一步算出16種(上下合計32種)的SAD。
而且，加權部56利用對於算出之32種SAD進行上述加權的方法，算出32種加權SAD。
調整部57以將由加權部56進行加權後之32種加權SAD的值中，加權SAD之值為最小的位置作為合成位置的方式進行調整。
如此，算出部54會算出兩次像素值之差。即，算出部54第一次隔著既定點數之間隔各挪移一點，同時算出像素值之差，第二次不隔著既定點數之間隔各挪移一點，同時算出像素值之差。藉此，因為第一次可朝合成部分的上下方向於更廣的範圍算出像素值之差，而將合成位置限縮在一定程度確定的位置，第二次藉由以限縮的位置作為基準而詳細算出像素值之差，可調整更正確的合成位置。
另外，本實施形態中，雖然針對合成部分Fam、Fbm的所有重複區域內朝上下方向挪移既定點數，同時算出SAD，但亦可針對重複區域的部分範圍算出SAD。亦即，亦可藉由算出SAD時預先使朝上下方向挪移最大點數量的區域(挪移既定點數且同時算出SAD的過程中，合成部分Fam、Fbm不重合的區域)脫離SAD的算出候選者，而將用於算出SAD的重複區域之點數保持一定。
藉由如此進行，可更正確推測和調整SAD為最小值的合成位置。
生成部58藉由拍攝控制部51的控制，基於利用調整部57調整之合成位置，將鄰接的影像資料之彼此合成，並生成全景影像之影像資料。
取得部52至生成部58利用以上處理，藉由將目前為止取得之複數個影像資料依照所記憶之順序朝水平方向合成，而生成全景影像之影像資料。
以上，參照第2圖至第6圖，說明本發明適用之數位相機1的功能構造。
接著，參照第7圖，說明擁有此種功能構造之數位相機1所執行之拍攝處理。
第7圖為圖示拍攝處理之流程的一例之流程圖。
在本實施形態中，拍攝處理係在數位相機1之未圖示的電源成為開啟狀態時即開始。
在步驟S1，第2圖的拍攝控制部51執行操作檢測處理及初始設定處理。
操作檢測處理係指檢測出操作部20之各開關的狀態之處理。作為動作模式，拍攝控制部51可藉由執行操作檢測處理，而檢測所設定的是一般拍攝模式或是全景拍攝模式。
另外，作為本實施形態的一個初始設定處理，採用設定角度位移量的一定值及作為最大角度位移量的角度位移閾值(例如360度)之處理。具體而言，角度位移量的一定值及作為最大角度位移量的角度位移閾值(例如360度)係預先記憶在第1圖的ROM 12，以從ROM 12讀取且寫入RAM 13之方式作設定。此外，角度位移量的一定值係用於後述第8圖的步驟S35之判定處理。另一方面，作為最大角度位移量的角度位移閾值(例如360度)係用於同圖的步驟S44之判定處理。
另外，本實施形態係如後述第8圖的步驟S34、S39等所示，將利用角速度檢測器22所檢測之角度位移量累積相加，並將作為該累積相加值的累積角度位移量或綜合角度位移量(兩者差異如後述)存放於RAM 13。於是，將此等累積角度位移量或綜合角度位移量重新設定成0之處理係作為本實施形態之一個初始設定處理而採用。此外，累積角度位移量在後述第8圖之步驟S35的判定處理係與上述一定值進行比較。另外，綜合角度位移量在後述第8圖之步驟S44的判定處理係與上述角度位移閾值進行比較。
另外，進一步作為本實施形態之一個初始設定處理，採用將誤差旗標重新設定為0之處理。誤差旗標係指在全景拍攝處理中發生誤差時，設為1之旗標(參照後述第8圖之步驟S43)。
在步驟S2，拍攝控制部51使即時預覽拍攝處理及即時預覽顯示處理開始。
即，拍攝控制部51控制拍攝部16或影像處理部17，使拍攝部16繼續進行拍攝動作。而且，拍攝控制部51係在拍攝部16繼續進行拍攝動作的期間，使經由該拍攝部16且從影像處理部17所依序輸出的影像資料記憶在記憶體(本實施形態中係為記憶部18)。此種藉拍攝控制部51之一連串的控制處理係在此所指的「即時預覽拍攝處理」。
另外，拍攝控制部51在即時預覽拍攝時依序讀取暫時記憶於記憶體(本實施形態中為記憶部18)的各影像資料，並於顯示部19依序顯示對應各影像資料的影像。此種利用拍攝控制部51之一連串控制處理係在此所指的「即時預覽顯示處理」。此外，以下將利用即時預覽顯示處理而在顯示部19依序顯示的影像稱為「即時預覽影像」。
在步驟S3，拍攝控制部51判定快門開關41是否被半按。
在此，半按係指將操作部20的快門開關41按下到中間(未到達下限之既定位置)之操作。以下亦可酌情稱作「半按操作」。
在快門開關41未被半按時，在步驟S3會判定為否，處理進至步驟S12。
在步驟S12，拍攝控制部51判別是否已下達結束處理的指示。
結束處理的指示雖然未特別限定，但本實施形態中係採用通知數位相機1之未圖示的電源成為關閉狀態。
因此，本實施形態中，當電源成為關閉狀態而通知拍攝控制部51時，在步驟S12判定為是，並結束整個拍攝處理。
相對地，電源為開啟狀態時，因為不通知電源成為關閉，所以在步驟S12判定為否，處理回到步驟S2，並重複之後的處理。即，本實施形態中，只要電源保持開啟狀態，則至快門開關41被半按為止的期間，重複執行進行步驟S3：否及步驟S12：否之循環處理，而拍攝處理成為待機狀態。
在此即時預覽顯示處理中，快門開關41被半按時，在步驟S3判定為是，處理前往步驟S4。
在步驟S4，拍攝控制部51控制拍攝部16，執行所謂的AF(Auto Focus)處理。
在步驟S5，拍攝控制部51判定快門開關41是否已被全按。
在快門開關41未被全按時，在步驟S5判定為否。此時，處理回到步驟S4，並重複之後的處理。即，本實施形態中，至快門開關41被全按為止的期間，重複執行步驟S4及步驟S5：否的循環處理，並每次都執行AF處理。
然後，快門開關41被全按時，在步驟S5判定為是時，處理進至步驟S6。
在步驟S6，拍攝控制部51判定現在設定的拍攝模式是否為全景拍攝模式。
非全景拍攝模式時，即在現在設定為一般拍攝模式時，在步驟S6判定為否，處理進至步驟S7。
在步驟S7，拍攝控制部51執行上述之一般拍攝處理。
即，將緊接著進行全按操作之後隨即將從影像處理部17輸出的一個影像資料作為記錄對象而記錄在可移除式媒體31。藉此，步驟S7的一般拍攝處理結束，處理進至步驟S12。此外，關於步驟S12以後的處理在上面已說明，所以在此省略其等之說明。
相對地，在現在設定為全景拍攝模式時，在步驟S6判定為是，處理進至步驟S8。
在步驟S8，拍攝控制部51執行上述全景拍攝處理。
關於全景拍攝處理之詳情，參照第8圖如後述，原則上係生成全景影像的影像資料，並作為記錄對象而記錄到可移除式媒體31。藉此，步驟S8的全景拍攝處理結束，處理進至步驟S9。
在步驟S9，拍攝控制部51判定誤差旗標是否為1。
詳細情形參照第8圖如後述，全景影像的影像資料作為記錄對象記錄到可移除式媒體31，步驟S8的全景拍攝處理正常結束時，誤差旗標為0。此種情況下，在步驟S9判定為否，處理進至步驟S12。此外，因為步驟S12以後的處理如上述，在此省略該說明。
對此，步驟S8的全景拍攝處理中發生某種誤差時，該全景拍攝處理會不正常結束。此種情況下，因為誤差旗標為1，所以在步驟S9判定為是，處理進至步驟S10。
在步驟S10，拍攝控制部51在顯示部19顯示誤差內容。關於顯示的誤差內容之具體實例將如後述。
在步驟S11，拍攝控制部51解除全景拍攝模式，將誤差旗標重新設定為0。
其後，處理回到步驟S1，重複其後的處理。即，拍攝控制部51預備由使用者進行之下一個新拍攝操作。
以上，參照第7圖說明拍攝處理的流程。
接下來，參照第8圖，說明第7圖的拍攝處理中，步驟S8的全景拍攝處理之詳細流程。
第8圖為說明全景拍攝處理的詳細流程之流程圖。
如上述，在全景拍攝模式的狀態下快門開關41被全按時，在第7圖的步驟S5及S6判定為是，處理進至步驟S8，且作為全景拍攝處理而執行如下處理。
即，在第8圖的步驟S31，拍攝控制部51從角速度檢測器22取得角度位移量。
在步驟S32，拍攝控制部51判定在步驟S31的處理中取得的角度位移量是否大於0。
在使用者未使數位相機1移動的狀態中，因為角度位移量為0，所以在步驟S32判定為否，處理進至步驟S33。
在步驟S33，拍攝控制部51判定角度位移量0的持續情況是否經過既定時間。作為既定時間，舉例而言，使用者全按快門開關41後，可採用比到開始數位相機1之移動為止而必要的時間還長的適當時間。
未經過既定時間時，在步驟S33判定為否，處理回到步驟S31，並重複其後的處理。即，使用者未使數位相機1移動的狀態之持續時間短於既定時間時，拍攝控制部51藉由重複執行步驟S31至步驟S33：否的循環處理，而使全景拍攝處理成為待機狀態。
此待機狀態中，使用者使數位相機1移動時，從角速度檢測器22取得之角度位移量為大於0之值。此種情況下，在步驟S32判定為是時，處理進至步驟S34。
在步驟S34，拍攝控制部51藉由對目前為止的累積角度位移量，加上在步驟S31的處理中取得的角度位移量，而更新累積角度位移量(更新的累積角度位移量=目前為止的累積角度位移量+角度位移量)。即，更新作為累積角度位移量而存放於RAM 13的值。
累積角度位移量係指如此累積相加的角度位移量之值，其表示數位相機1的移動量。
在此，本實施形態中，每當使用者使數位相機1移動一定量時，全景中間影像的影像資料生成用之一個影像資料(合成對象)係從影像處理部17供給到取得部52。
為了加以實現，對應作為數位相機1之移動量的「一定量」之累積角度位移量係藉由第7圖的步驟S1之初始設定處理而作為「一定值」預先提供。
即，本實施形態中，每當累積角度位移量達到一定值時，一個影像資料(合成對象)從影像處理部17被供給到取得部52，同時累積角度位移量被重新設定為0。
此種一連串處理作為下一個步驟S35以後的處理而執行。
即，在步驟S35，拍攝控制部51判定累積角度位移量是否達到一定值。
累積角度位移量未達一定值時，在步驟S35判定為否，處理回到步驟S31，並重複其後的處理。即，藉由使用者使數位相機1移動一定量，只要累積角度位移量未達一定值，則拍攝控制部51重複執行步驟S31至S35的循環處理。
其後，藉由使用者使數位相機1移動一定量，累積角度位移量達到一定值時，在步驟S35判定為是，處理進至步驟S36。
在步驟S36，拍攝控制部51執行全景合成處理。
關於全景合成處理之詳情係參照第9圖如後述，從取得部52取得影像資料(合成對象)，合成此影像資料，並生成全景中間影像的影像資料。
全景中間影像係指在選擇全景拍攝模式的狀態下進行全按操作時，預訂生成的全景影像中，表示現在為止拍攝的區域之影像。
在步驟S39，拍攝控制部51藉由對目前為止的綜合角度位移量，加上現在的累積角度位移量(=約為一定值)，而更新綜合角度位移量(更新的綜合角度位移量=目前為止的綜合角度位移量+累積角度位移量)。即，更新作為綜合角度位移量而存放於RAM 13之值。
在步驟S40，拍攝控制部51將累積角度位移量重新設定為0。即，將作為累積角度位移量而存放於RAM 13的值更新為0。
如此，累積角度位移量係為了控制將一個影像資料(合成對象)從影像處理部17供給到取得部52之時間點即取得指令的發行時間點而使用。因此，每當累積角度位移量達到一定且取得指令被發佈時，即重新設定為0。
因此，拍攝控制部51即使利用累積角度位移量，也無法識別從全景拍攝處理開始後到現在為止，數位相機1移動到何處。
於是，為了實現此種識別，本實施形態中，採用綜合角度位移量而非累積角度位移量。
即，綜合角度位移量係指角度位移量累積相加之值，即使達到一定量，也不重新設定為0，而是到全景拍攝處理結束為止期間(詳細而言，是到執行如後述步驟S46之處理為止的期間)持續累積相加之值。
如此，在步驟S39的處理中更新綜合角度位移量，同時在步驟S40的處理中將累積角度位移量重新設定為0時，處理進至步驟S41。
在步驟S41，拍攝控制部51判定是否已進行解除操作。
未進行解除操作時，即由使用者進行的快門開關41之全按繼續時，在步驟S41判定為否，處理進至步驟S42。
在步驟S42，拍攝控制部51判定是否發生影像取得的誤差。
就影像取得的誤差而言，並未特別限定，例如本實施形態係採用「數位相機1朝傾斜方向、上下方向或反方向移動一定量以上」為誤差(Error)。
在影像取得未發生誤差時，在步驟S42判定為否，處理進至步驟S44。
在步驟S44，拍攝控制部51判別綜合角度位移量是否超過角度位移閾值。
如上述，綜合角度位移量係指開始全景拍攝處理之後(進行全按操作之後)到執行步驟S44的處理之時點為止的角度位移量之累積相加值。
在此，本實施形態係預先決定於全景拍攝中使用者可移動數位相機1的最大移動量。對應作為此種數位相機1之移動量的「最大移動量」之綜合角度位移量係藉由第7圖的步驟S1之初始設定處理而預先提供作為「角度位移閾值」。
如此，本實施形態中、綜合角度位移量達到角度位移閾值意味數位相機1僅移動最大移動量。
因此，綜合角度位移量未達角度位移閾值時，即數位相機1的移動量未達最大移動量時，因為使用者仍然可持續移動數位相機1，所以在步驟S44判定為否，處理回到步驟S31，並重複其後的處理。
即，當角度位移量0之持續經過既定時間(數位相機1未移動既定時間)也包含在一項誤差時，在未發生誤差的狀態，只要繼續全按操作，就會重複執行步驟S31至S44：否的循環處理。
之後，在未發生誤差的狀態，當進行解除操作(在步驟S41的處理判定為是)或數位相機1移動到最大移動量為止(在步驟S44的處理判定為是)時，處理進至步驟S45。
在步驟S45，拍攝控制部51經由取得部52生成全景影像的影像資料，且作為記錄對象的影像資料記錄在可移除式媒體31。
此外，本實施形態中，因為每當取得影像資料時，就會生成全景中間影像的影像資料，所以在步驟S45的處理時點生成之全景中間影像的影像資料係作為最終的全景影像之影像資料而採用。
而且，在步驟S46，拍攝控制部51將綜合角度位移量重新設定為0。
藉此，全景拍攝處理會正常結束。即，第7圖的步驟S8之處理會正常結束，且在接下來的步驟S9之處理判定為否。此外，關於在步驟S9之處理判定為否後之處理，因為已如上述，在此省略該說明。
此外，在上述的一連串處理中發生某種誤差時，即，在步驟S33的處理判定為是，或者，在步驟S42的處理判定為是時，處理進至步驟S43。
在步驟S43，拍攝控制部51將誤差旗標設定為1。
此時，不執行步驟S45的處理，即不記錄全景影像的影像資料，全景拍攝處理即不正常結束。
即，第7圖的步驟S8之處理不正常結束，在接下來的步驟S9之處理判定為是，並在步驟S10的處理顯示誤差的內容。
此時的誤差內容之顯示如上述並未特別限定，例如可採用「影像取得失敗」或「時間超過」等訊息顯示。
以上，參照第8圖說明全景拍攝處理的流程。
其次，參照第9圖說明第8圖的全景拍攝處理中，步驟S36的全景合成處理之詳細流程。
第9圖為說明全景合成處理的詳細流程之流程圖。
如上述，藉由使用者將數位相機1移動一定量，而當累積角度位移量達到一定值時，在第8圖的步驟S35判定為是，且處理進至步驟S36，並作為全景合成處理而執行如下處理。
即，在第9圖的步驟S51，取得部52在拍攝控制部51的控制下，從影像處理部17依序取得連續拍攝的影像之影像資料。
在步驟S52，推測部53推測位在於步驟S51中取得之各個影像資料且應於鄰接的影像資料彼此之合成部分內藉由生成部58合成的合成位置。
在步驟S53，算出部54以在步驟S52推測的合成位置作為基準，朝上下方向隔著既定點數的間隔各挪移一點，同時算出16種(上下合計32種)的像素值之差。
在步驟S54，判定部55判定在步驟S53算出之像素值之差是否為閾值以上，並擷取像素值之差為閾值以上之部分。
在步驟S55，加權部56算出對在步驟S55中判定像素值之差為閾值以上之部分進行加權之32種加權SAD。
在步驟S56，調整部57從在步驟S55算出之32種加權SAD的值中，調整值為最小者作為合成位置候選者。
在步驟S57，算出部54以在步驟S56調整之合成位置候選者作為基準，朝上下方向各挪移一點，同時進一步算出16種(上下合計32種)SAD。
在步驟S58，調整部57從在步驟S57算出之32種SAD的值中，調整值為最小者作為合成位置。
在步驟S59，生成部58藉由拍攝控制部51的控制，基於在步驟S58調整的合成位置，合成鄰接的影像資料組，並生成全景中間影像的影像資料。
根據本實施形態，產生以下作用效果。
本實施形態的數位相機1依序取得取得部52連續拍攝的影像，且生成部58利用取得部52合成依序取得之影像資料。
而且，推測部53於位在藉由取得部52依序取得之各個影像資料且鄰接的影像資料彼此之合成部分內藉由生成部58推測合成位置，算出部54以藉由推測部53推測的合成位置作為基準，在重複區域內朝既定方向使像素資料挪移，同時算出在該重複區域內之影像資料彼此的像素值之差，加權部56基於算出的像素值之差，算出加權SAD。調整部57以藉由加權部56算出的重複區域內之加權SAD的值為最小的影像資料彼此之位置成為合成位置的方式調整，生成部58基於藉由調整部57調整的合成位置，將鄰接的影像資料之彼此合成，且生成全景影像的影像資料。
藉此，鄰接的影像資料彼此之合成中，在鄰接的影像資料彼此的重複區域內推測合成位置之後，可進一步在於重複區域內加權SAD的值為最小的合成位置，即在於鄰接的影像資料彼此中影像資料的邊緣部分對齊的合成位置進行調整並合成。
因此，可提升合成影像時的定位精確度。
另外，就本實施形態而言，因為推測部53預先推測合成位置後，算出部54朝垂直方向使像素資料僅挪移既定點數量，同時算出像素值之差的值，且調整部57以SAD之值為最小的位置成為合成位置的方式進行調整，舉例而言，相較以就合成部分內的所有像素資料之部分朝垂直方向使像素資料挪移，同時算出SAD或加權SAD的值，且SAD或加權SAD的值為最小的位置成為合成位置的方式進行設定，可減輕數位相機1的處理負擔。
另外，本實施形態的數位相機1之判定部55判定藉由算出部54算出的像素值之差是否為閾值以上，加權部56藉由判定部55判定像素值之差為閾值以上時，對像素值之差進行加權並算出加權SAD，調整部57基於藉由加權部56算出之加權SAD，調整合成位置。
藉此，因為容易由SAD的值為最小之合成位置的候選者成為像素值之差為閾值以上，即在鄰接的影像資料組中影像資料的邊緣部分挪移之合成位置的候選者，所以容易將合成位置調整為影像資料的邊緣部分對齊之位置。另外，雖然在第6圖未圖示，但將合成部分Fam、Fbm的像素變換成亮度值時，即使在該亮度值發生雜訊，因為對像素值之差(鄰接的影像彼此之亮度值的差分之絕對值)為閾值以上者進行加權並算出SAD的值，所以可不受亮度值變換時的微弱雜訊影響而調整合成位置。
此外，在本實施例，雖然於SAD為最小值之位置設法調整合成位置，但並不限於此。
例如，亦可在SAD的值為從最低值數來第二個值之位置調整合成位置。藉此，可考慮亮度值變換時的微弱雜訊之影響而調整合成位置。
另外，本實施形態之數位相機1的取得部52藉由拍攝部16在各既定時間取得依序拍攝的影像。
藉此，可在拍攝部16拍攝之同時依序調整合成位置並合成取得之影像資料。
此外，本發明並不限於上述實施形態，可達成本發明的目的之範圍內之變形、改良等係包含於本發明。
例如，在上述實施形態，雖然在利用拍攝部16的拍攝動作中進行全景合成處理，但並未限定於此，亦可在利用拍攝部16之拍攝動作結束，取得用於生成全景影像的影像資料之所有影像資料後，進行全景合成處理。
另外，雖然上述實施形態係利用角速度檢測器22檢測數位相機1的角度位移量之構造，但檢測角度位移量的手法並未特別限定於此，例如，亦可採用解析即時預覽影像，利用影像彼此的移動向量檢測數位相機1的角度位移量之手法。
另外，在上述實施形態，全景中間影像及全景影像雖然為橫長的構造，但並未限定於此，亦可為朝沿著數位相機1的移動方向之方向增長的構造，例如縱長的構造，生成之影像不限於全景影像，亦可為藉由合成複數個影像而生成視角比一個影像的視角更廣的廣角影像。
另外，在上述實施形態，本發明適用的影像處理裝置係作為構成為數位相機1之實例進行說明。
然而，本發明並未特別限定於此，亦可普遍適用於具有可生成全景影像之功能的電子機器，例如，本發明可廣泛適用於攜帯型個人電腦、攜帯型導航裝置、掌上型遊戲機等。
上述一連串處理可利用硬體執行，亦可利用軟體執行。
利用軟體執行一連串處理時，構成該軟體之程式係由網路或記錄媒體安裝於控制影像處理裝置或該影像處理裝置的電腦等。在此，電腦亦可為裝入有專用硬體的電腦。或者，電腦另可為藉由安裝各種程式而可執行各種功能的電腦，例如通用個人電腦。
包含此種程式的記錄媒體並非只是由為了提供程式給使用者而與裝置本體分別散布之可移除式媒體31所構成，而是由在預先裝入裝置本體之狀態下提供給使用者的記錄媒體等所構成。可移除式媒體31係由例如磁碟機(包含軟式磁碟機)、光碟機及光磁碟機等所構成。另外，在預先裝入裝置本體的狀態下提供給使用者的記錄媒體係由例如記錄程式的ROM 12或包含在記憶部18的硬碟機等所構成。
此外，在本專利說明書，記述記錄於記錄媒體之程式的步驟理當包含依照該順序而按時間點進行之處理，即使未必按時間點處理，亦包含並列地或個別地執行之處理。
1‧‧‧數位相機
11‧‧‧CPU
12‧‧‧ROM
13‧‧‧RAM
14‧‧‧匯流排
15‧‧‧光學系統
16‧‧‧拍攝部
17‧‧‧影像處理部
18‧‧‧記憶部
19‧‧‧顯示部
20‧‧‧操作部
21‧‧‧通信部
22‧‧‧角速度感測器
23‧‧‧驅動裝置
31‧‧‧可移除式媒體
41‧‧‧快門開關
51‧‧‧拍攝控制部
52‧‧‧取得部
53‧‧‧推測部
54‧‧‧算出部
55‧‧‧判定部
56‧‧‧加權部
57‧‧‧調整部
58‧‧‧生成部
a‧‧‧數位相機1的移動方向之位置
b‧‧‧數位相機1的移動方向之位置
c‧‧‧數位相機1的移動方向之位置
Fa‧‧‧影像資料
Fam‧‧‧合成部分
Fb‧‧‧影像資料
Fbm‧‧‧合成部分
L‧‧‧以虛線包圍的部分
P3‧‧‧全景影像
第1圖為圖示作為根據本發明之拍攝裝置的一實施形態之數位相機的硬體構造之方塊圖。
第2圖為圖示用於第1圖的數位相機執行拍攝處理的功能構造之功能方塊圖。
第3A圖和第3B圖為說明作為第2圖的數位相機之動作模式，個別選擇一般拍攝模式及全景拍攝模式時的拍攝操作之圖。
第4圖係圖示由第3圖所示的全景拍攝模式生成之全景影像的一例之圖。
第5圖為說明第2圖的數位相機推測合成位置的手法之圖。
第6A圖至第6D圖為說明第2圖的數位相機推測合成位置的手法之圖。
第7圖為圖示第2圖的數位相機執行拍攝處理之流程的一例之流程圖。
第8圖為圖示第7圖的拍攝處理中，全景拍攝處理的詳細流程之流程圖。
第9圖為圖示第8圖的全景拍攝處理中，全景合成處理的詳細流程之流程圖。
11‧‧‧CPU
16‧‧‧拍攝部
17‧‧‧影像處理部
18‧‧‧儲存部
20‧‧‧操作部
22‧‧‧角速度感測器
31‧‧‧可移除式媒體
41‧‧‧快門開關
51‧‧‧拍攝控制部
52‧‧‧取得部
53‧‧‧推測部
54‧‧‧算出部
55‧‧‧判定部
56‧‧‧加權部
57‧‧‧調整部
58‧‧‧生成部

权利要求:
Claims (12)
[1] 一種影像處理裝置，其特徵為具備：取得手段，取得複數個影像；推測手段，在由前述取得手段所取得之影像彼此的共通區域內，推測特定位置；第一算出手段，使由前述推測手段所推測之特定位置朝前述共通區域內的既定方向於既定範圍內挪移，同時個別算出該共通區域內的前述影像彼此之差分值；調整手段，基於由前述第一算出手段所個別算出之差分值，調整前述特定位置；及合成手段，基於由前述調整手段所調整之特定位置，將前述影像之彼此合成。
[2] 如申請專利範圍第1項之影像處理裝置，其中進一步具備：第二算出手段，使由前述調整手段所調整之特定位置朝前述既定方向在比前述既定範圍還狹小的範圍內挪移，同時個別算出在前述共通區域內的前述影像彼此之差分值，前述調整手段進一步基於由前述第二算出手段所算出的差分值，再度調整前述特定位置。
[3] 如申請專利範圍第1項之影像處理裝置，其中前述第一算出手段進一步使前述特定位置朝作為前述既定方向之上下方向於前述既定範圍內各挪移既定點數，同時個別算出該共通區域內的前述影像彼此之差分值。
[4] 如申請專利範圍第2項之影像處理裝置，其中前述第二算出手段進一步使前述特定位置朝作為前述既定方向之上下方向在比前述既定範圍內狹小的範圍內個別挪移未滿前述既定點數之點數，同時個別算出前述共通區域內的前述影像彼此之差分值。
[5] 如申請專利範圍第1項之影像處理裝置，其中具備：判定手段，判定由前述第一算出手段所算出之差分值是否為閾值以上；及加權手段，由前述判定手段判定前述差分值為閾值以上時，對前述差分值進行加權，前述調整手段基於由前述加權手段所加權之差分值，調整前述特定位置。
[6] 如申請專利範圍第1項之影像處理裝置，其中前述調整手段將前述特定位置調整到由前述第一算出手段所算出之差分值為最小的位置。
[7] 如申請專利範圍第1項之影像處理裝置，其中前述合成手段進一步藉由將前述影像彼此合成而生成全景影像。
[8] 如申請專利範圍第1項之影像處理裝置，其中每當前述特定位置朝前述共通區域內的既定方向於既定範圍內挪移既定量時，前述第一算出手段算出該共通區域內的前述影像彼此之差分值。
[9] 如申請專利範圍第1項之影像處理裝置，其中前述第一算出手段以前述共通區域變化的方式使前述特定位置挪移，同時算出前述差分值。
[10] 如申請專利範圍第1項之影像處理裝置，其中進一步具備拍攝手段，前述取得手段係取得由前述拍攝手段在每個既定時間依序拍攝之影像。
[11] 一種影像處理方法，其特徵為包含：取得步驟，取得複數個影像；推測步驟，在由前述取得步驟所取得之影像彼此的共通區域內推測特定位置；算出步驟，使由前述推測步驟所推測之特定位置朝既定方向在前述共通區域內的既定範圍內挪移，同時算出該共通區域內的前述影像彼此之差分值；調整步驟，基於由前述算出步驟所個別算出之差分值，調整前述特定位置；及合成步驟，基於由前述調整步驟所調整之應合成的位置，將前述影像之彼此合成。
[12] 一種記錄程式的記錄媒體，係記錄電腦可讀取之程式的記錄媒體，其使作為以下手段的功能於前述電腦中實現：取得手段，取得複數個影像；推測手段，在由前述取得手段所取得之影像彼此的共通區域內，推測特定位置；算出手段，使由前述推測手段所推測之特定位置朝既定方向於前述共通區域內的既定範圍內挪移，同時算出前述共通區域內的前述影像彼此之差分值；調整手段，基於由前述算出手段所個別算出之差分值，調整前述特定位置；及合成手段，基於由前述調整手段所調整之特定位置，將前述鄰接的影像之彼此合成。

类似技术:

公开号 | 公开日 | 专利标题

TWI467313B|2015-01-01|影像處理裝置、影像處理方法、及記錄媒體

TWI387330B|2013-02-21|具有用於拍攝平移圖像之平移模式的攝像裝置

JP5574423B2|2014-08-20|撮像装置、表示制御方法及びプログラム

KR101034109B1|2011-05-13|촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체

JP5764740B2|2015-08-19|撮像装置

JP5652157B2|2015-01-14|撮像装置、画像処理方法、並びにコンピューター・プログラム

JP6222514B2|2017-11-01|画像処理装置、撮像装置、およびコンピュータブログラム

JP2012039177A|2012-02-23|撮像装置

US8890971B2|2014-11-18|Image processing apparatus, image capturing apparatus, and computer program

JP5696419B2|2015-04-08|画像処理装置及び方法、並びにプログラム

JP2009213114A|2009-09-17|撮像装置及びプログラム

JP6037224B2|2016-12-07|画像処理装置、撮像装置、およびプログラム

US9813686B2|2017-11-07|Imaging apparatus, and control method of imaging apparatus

JP2002027312A|2002-01-25|撮像装置

JP5014267B2|2012-08-29|撮像装置

JP2020017807A|2020-01-30|画像処理装置および画像処理方法、ならびに撮像装置

JP5831492B2|2015-12-09|撮像装置、表示制御方法及びプログラム

US20190026902A1|2019-01-24|Imaging apparatus and control method

JP2015106116A|2015-06-08|撮像装置

JP6728005B2|2020-07-22|撮像装置、撮像方法およびプログラム

WO2011129036A1|2011-10-20|撮像装置および集積回路

JP6717354B2|2020-07-01|画像処理装置、画像処理方法及びプログラム

JP5683898B2|2015-03-11|追尾装置および追尾方法

US20210044733A1|2021-02-11|Image pickup apparatus and storage medium

JP6107882B2|2017-04-05|撮像装置、表示制御方法及びプログラム

同族专利:

公开号 | 公开日

JP2013074313A|2013-04-22|

CN103024263B|2016-08-03|

KR101393560B1|2014-05-09|

US20130076855A1|2013-03-28|

CN103024263A|2013-04-03|

TWI467313B|2015-01-01|

JP5729237B2|2015-06-03|

KR20130033323A|2013-04-03|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

US5649032A|1994-11-14|1997-07-15|David Sarnoff Research Center, Inc.|System for automatically aligning images to form a mosaic image|

US6549681B1|1995-09-26|2003-04-15|Canon Kabushiki Kaisha|Image synthesization method|

US6785427B1|2000-09-20|2004-08-31|Arcsoft, Inc.|Image matching using resolution pyramids with geometric constraints|

US7046401B2|2001-06-01|2006-05-16|Hewlett-Packard Development Company, L.P.|Camera-based document scanning system using multiple-pass mosaicking|

US6733138B2|2001-08-15|2004-05-11|Mitsubishi Electric Research Laboratories, Inc.|Multi-projector mosaic with automatic registration|

US7583293B2|2001-12-06|2009-09-01|Aptina Imaging Corporation|Apparatus and method for generating multi-image scenes with a camera|

US7006709B2|2002-06-15|2006-02-28|Microsoft Corporation|System and method deghosting mosaics using multiperspective plane sweep|

JP4299015B2|2003-01-31|2009-07-22|アロカ株式会社|超音波画像処理装置|

EP1613060A1|2004-07-02|2006-01-04|Sony Ericsson Mobile Communications AB|Capturing a sequence of images|

JP4577765B2|2004-11-02|2010-11-10|Ｋｄｄｉ株式会社|動画像合成装置|

JP2006333132A|2005-05-26|2006-12-07|Sony Corp|撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム|

JP4622797B2|2005-10-11|2011-02-02|パナソニック株式会社|画像合成装置及び画像合成方法|

US8107769B2|2006-12-28|2012-01-31|Casio Computer Co., Ltd.|Image synthesis device, image synthesis method and memory medium storage image synthesis program|

JP4905144B2|2007-01-17|2012-03-28|カシオ計算機株式会社|画像合成装置、画像合成プログラム及び画像合成方法|

JP4877154B2|2007-08-24|2012-02-15|カシオ計算機株式会社|画像処理装置、撮像装置、画像処理方法、および、プログラム|

WO2009040872A1|2007-09-25|2009-04-02|Fujitsu Limited|画像合成装置及び方法|

JP5092722B2|2007-12-07|2012-12-05|ソニー株式会社|画像処理装置、画像処理方法およびプログラム|

JP4497211B2|2008-02-19|2010-07-07|カシオ計算機株式会社|撮像装置、撮像方法及びプログラム|

JP2010050521A|2008-08-19|2010-03-04|Olympus Corp|撮像装置|

JP5218071B2|2009-01-07|2013-06-26|ソニー株式会社|画像処理装置、画像処理方法およびプログラム|

CN101853524A|2010-05-13|2010-10-06|北京农业信息技术研究中心|使用图像序列生成玉米果穗全景图的方法|US9374532B2|2013-03-15|2016-06-21|Google Inc.|Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization|

KR101432123B1|2014-03-19|2014-08-20|국방과학연구소|고갱신율 전방위 파노라마 영상획득 처리 방법|

CN105894449B|2015-11-11|2019-11-08|法法汽车有限公司|克服图像融合中颜色突变的方法及系统|

JP6659130B2|2015-12-04|2020-03-04|キヤノン株式会社|画像処理装置、撮像装置、画像処理方法およびプログラム|

KR102301352B1|2016-02-09|2021-09-14|프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝에. 베.|효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념|

JP2017212698A|2016-05-27|2017-11-30|キヤノン株式会社|撮像装置、撮像装置の制御方法およびプログラム|

CN107085837A|2017-05-31|2017-08-22|广东欧珀移动通信有限公司|降噪处理方法、装置、存储介质及终端|

JP6545229B2|2017-08-23|2019-07-17|キヤノン株式会社|画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム|

法律状态:

优先权:

申请号 | 申请日 | 专利标题

JP2011209593A|JP5729237B2|2011-09-26|2011-09-26|画像処理装置、画像処理方法、及びプログラム|

[返回顶部]